【Day 13】優化器 Optimizer ( 二 )

15th鐵人賽機器學習優化器

許皓翔

團隊最強資工大電神

2023-09-28 10:29:14

394 瀏覽

分享至

動量 Momentum

動量的核心概念就是依據現實生活中物理上的慣性去更新參數，參數更新公式：

當前參數更新時除了梯度，還會考慮前一步的梯度 ( 移動方向 ) $\beta V_t$ ，這意味者下一步的位置不再僅取決於當前位置參數的梯度，如果我們是用傳統梯度下降 ( SGD / BGD / MBGD ) 來更新參數，通常很容易會陷入 Local Min 中無法逃脫，但 Momentum 在參數更新時加了慣性的概念，像下面這張圖，當紅球從很陡的地方往下移動到 Local Mina，此時會有個來自上一步的慣性 $\beta V_{t-1}$ 使紅球不會移動到 Local Min 就停止，而是藉著慣性讓紅球能夠從 Local Min 向上爬升，如果這個夠大的話，就能夠讓紅球爬出 Local Min 的坑洞繼續向前往 Global Min 處移動，但是往下移動到 Global Min 時，此時的慣性沒有大到能讓紅球爬出 Global Min，最紅球會逐漸接近 Global Min 並在其附近來回移動震盪。

undefined

Momentum 的目的就是讓參數在更新過程中能夠根據「慣性」穿越 Local Min，而不是完全停止在 Local Min，並避免落入局部最低點，解決了傳統梯度下降法的問題。

AdaGrad ( Adaptive Gradient )

AdaGrad 根據名子可以翻譯為「自我調整 ( Ada ) 梯度 ( Grad )」，秉持自適學習率的概念，對訓練過程來說，尋找最佳解時學習率大小至關重要，太小或太大都會影響結果表現，先前介紹的優化器，在訓練時學習率都為固定值，而 AdaGrad 主要特性就是在每次參數更新時，依照梯度去調整參數的學習率，意味著每個參數的學習率都是獨立的。

關於學習率的調整，用前幾天提到的 1/t 衰減 $https://chart.googleapis.com/chart?cht=tx&chl=%5Ceta%5Et%3D%5Cfrac%7B%5Ceta%7D%7B%5Csqrt%7Bt%2B1%7D%7D$ ，但這方法太過於簡單，AdaGrad 將其改良為下面公式，這邊多加一個 $\epsilon$ 是為了分母不為 0 ( 修正項 )：

因此參數的更新公式如下：

$g^t$ 就是第 $t$ 次參數更新時的梯度， $\sigma^t$ 則代表第 $t$ 次以前 ( 包括第 $t$ 次 ) 所有梯度的平方 ( 取正數 ) 加上 $\epsilon$ 再開根號。

特點

AdaGrad 通過累積所有參數的梯度在對於每個參數動態調整學習率的大小
AdaGrad 減少了需要手動調整學習率的需求，傳統梯度下降必須要手動調整學習率以平穩模型的收斂和穩定性，但 AdaGrad 在訓練時可依據當前參數的梯度不斷適應調整學習率

訓練前期時，學習率的約束項 $https://chart.googleapis.com/chart?cht=tx&chl=%5Ceta%5Et%3D%5Cdisplaystyle%7B%5Cfrac%7B%5Ceta%7D%7B%5Csqrt%7B%5Csum%5Climits_%7Bn%3D1%7D%5E%7Bt%7D(%5Cdisplaystyle%7B%5Cfrac%7B%5Cpartial%20L%7D%7B%5Cpartial%20w_i%7D%7D(%5Cboldsymbol%7BW%7D%5En))%5E2%2B%5Cepsilon%7D%7D%7D$ 較小，使學習率較大

在AdaGrad中，學習率的調整基於參數的歷史梯度平方累積 ( $\sigma^t$ )，當一個參數的梯度較大 ( 稠密梯度 )， $\sigma^t$ 會變大，學習率逐漸減小，而當參數的梯度較小 ( 稀疏梯度 )， $\sigma^t$ 變小，學習率就變大，這意味著對於各種不同的梯度，AdaGrad 都能夠適應狀況保持合適的學習率大小，不會因梯度小而過於保守，因梯度大而過於激進

限制

訓練後期時，AdaGrad 隨著迭代增加，所有梯度的累積會逐漸變大 ( 分母變大 )，從而使學習率衰退至趨於 0，導致參數不再更新使訓練過早結束
AdaGrad 對於 $L$ 為 Non-Convex 時，仍可以遭遇陷入局部最小值 Local Min 的情況

RMSprop

RMSprop 可說是 AdaGrad 的加強版，可以發現 RMSprop 在學習率的調整上多了一個參數 $\alpha$ ，用來調節舊梯度和新梯度，也就是歷史梯度平方累積 $(\sigma^{t-1})^2$ 和當前梯度平方 $(g^t)^2$ 的權重， $\alpha$ 也可視為衰減率 ( 衰減係數 )，把 $\alpha$ 往上調，參數更新過程中便較傾向舊梯度帶給我們的資訊，此時新梯度前的參數為 ( 1 - $\alpha$ )，其影響力就會較小，因次 RMSprop 在每次更新參數時可對學習率放大和衰減，解決了 AdaGrad 在學習率衰退過快導致模型收斂效果不佳和訓練提早結束的問題。

參數更新公式為，一樣會加上 $\epsilon$ 修正項避免分母為 0：

RMSProp 能透過對梯度平方項權重的調配和修正项，更好地平衡與動態控制學習率大小，使得其在實踐上相對AdaGrad 表现更為出色，但仍需事先設好全局學習率 $\eta$ 。

Adam

Adam 可說是 Momentum 和 RMSprop 兩種優化器的結合，其實就是加了動量概念的 RMSprop，Momentum 的行為可視為一個沿著斜坡運動的球，Adam 的行為像一個有摩擦力的球，Adam 引入了動量項，用來在參數更新時考量歷史梯度，把 RMSprop 新舊梯度權重的概念帶到了動量項 $m_t$ 和歷史梯度平方累積項 $V_t$ ( 如下面公式 )，而 $\beta_1$ 和 $\beta_2$ 可分別是為兩項的衰減率參數，兩個參數的選擇對於 Adam 性能和收斂速度至關重要。